分享|3D目标检测方法总结

3D目标检测目前主要的应用场景就是自动驾驶&＃xff0c;自动驾驶车不仅仅需要识别障碍物的类型&＃xff0c;还需要识别物体的精确位置和朝向。以提供信息给规划控制模块&＃xff0c;规划出合理的线路。

3D目标检测

一、3D目标检测方法

自从2017年以来3D目标检测涌现出了很多经典算法&＃xff0c;下面整理了一些算法的时间线。

3D目标检测方法

3D目标检测方法无外乎以下几种。

根据输入类型&＃xff08;传感器种类&＃xff09;来划分&＃xff0c;目前3D目标检测的方法分为&＃xff1a;

• 单模&＃xff08;Lidar&＃xff09;

• 多模&＃xff08;Lidar&＃43;Camera、Radar&＃43;Camera&＃xff09;

根据特征提取的方法来划分&＃xff0c;主要分为以下4种&＃xff1a;

• Point Clouds - 基于原始点进行特征提取

• Voxel - 把点云划分成一个个的网格&＃xff0c;然后提取网格的特征

• Graph - 利用图的方式&＃xff0c;对半径R内的点建立图&＃xff0c;然后提取特征

• 2D View - 把3D投影到2D平面&＃xff0c;大部分采用BEV视角&＃xff0c;然后用2D卷积提取特征

下图分别描述了上述4种特征提取方式&＃xff1a;

特征提取示意图

二、Voxelnet

2017年 CVPR Apple公司提出的基于voxel的特征提取方法。

对点云进行网格化&＃xff0c;得到规则的特征&＃xff0c;然后进行3D卷积。

三、PointNet&＃43;&＃43;

2017年 CVPR 是PointNet的改进&＃xff0c;基于原始点提取特征。

采样算法是最远点采样&＃xff08;farthest point sampling, FPS&＃xff09;&＃xff0c;相对于随机采样&＃xff0c;这种采样算法能够更好地覆盖整个采样空间。

点云数据中的一个点的局部由其周围给定半径的球形空间内的其他点构成。

四、MV3D

2017年 CVPR - 百度和清华提出&＃xff0c;3D投影到2D平面&＃xff0c;多模态融合了Lidar和Camera数据。

其中BEV视角对高度进行切片&＃xff0c;切片数量为M&＃xff0c;加上密度图和强度图&＃xff0c;总共生成M&＃43;2个特征图。

FV视角把雷达投影到圆柱体之后再展开到2维平面。

融合方式采用的是深度融合(Deep fusion)。

五、PIXOR

2018年CVPR Uber one-stage, Lidar only

为什么要把PIXOR单独拿出来&＃xff0c;因为PIXOR和MV3D都是采用把3D视图投影到2D视图的方法&＃xff0c;而PIXOR只采用了BEV视角的特征&＃xff0c;效果却比MV3D还要好&＃xff0c;所以证明BEV视角非常关键。

六、PointPillars

2019年 CVPR Aptiv

新的点云编码方式&＃xff0c;是对SECOND方法的改进。

七、Point-GNN

2020年 CVPR - Carnegie Mellon University

引入了图神经网络对点云3D特征进行提取

首先论文介绍了3D特征提取的3种方式&＃xff1a;投影到2D&＃xff0c;聚类点集、图

接下来介绍了图神经网络的结构&＃xff1a;

新的3D点云特征的表达方式&＃xff0c;缺点是速度慢643ms&＃xff08;Xeon E5-1630 CPU and GTX 1070 GPU&＃xff09;&＃xff0c;并且雷达线数下降的时候&＃xff0c;精度下降很明显。

八、总结

最后对3D物体检测做了一些思考和总结&＃xff1a;

• 特征提取。不管是根据Voxel&＃xff0c;Point Cloud还是投影到BEV&＃xff0c;到底如何更好的表示3维特征是后面关注的重点&＃xff1f;

• 融合方式。单传感器存在诸多局限&＃xff0c;采用多传感器融合是趋势&＃xff0c;但是如何融合数据&＃xff0c;前融合、后融合还是深度融合&＃xff1f;

• 3D Proposal。目前效果比较好的方法普遍是two-stage检测&＃xff0c;如何提取有效的提取推荐区域非常关键&＃xff08;一是减少计算量&＃xff0c;二是提高精度&＃xff09;。

• Encoder-Decoder。最新的方法普遍采用了生成方法来提高分辨率。

• 语义信息。后续是否加入语义信息来帮助理解&＃xff0c;比如汽车轮子、环境信息等。

• 线束降低。低线束下的模型性能评估&＃xff1f;有助于减少成本&＃xff0c;以后低线束的雷达和高线速的雷达价格差距大吗&＃xff1f;

来源&＃xff1a;知乎

作者&＃xff1a;王方浩